Convolutional neural networks for modeling and forecasting nonlinear nonstationary processes

The object of research. The object of research is modeling and forecasting nonlinear nonstationary processes presented in the form of time-series data. Investigated problem. There are several popular approaches to solving the problems of adequate model constructing and forecasting nonlinear nonstationary processes, such as autoregressive models and recurrent neural networks. However, each of them has its advantages and drawbacks. Autoregressive models cannot deal with the nonlinear or combined influence of previous states or external factors. Recurrent neural networks are computationally expensive and cannot work with sequences of high length or frequency. The main scientific result. The model for forecasting nonlinear nonstationary processes presented in the form of the time series data was built using convolutional neural networks. The current study shows results in which convolutional networks are superior to recurrent ones in terms of both accuracy and complexity. It was possible to build a more accurate model with a much fewer number of parameters. It indicates that one-dimensional convolutional neural networks can be a quite reasonable choice for solving time series forecasting problems. The area of practical use of the research results. Forecasting dynamics of processes in economy, finances, ecology, healthcare, technical systems and other areas exhibiting the types of nonlinear nonstationary processes. Innovative technological product. Methodology of using convolutional neural networks for modeling and forecasting nonlinear nonstationary processes presented in the form of time-series data. Scope of the innovative technological product. Nonlinear nonstationary processes presented in the form of time-series data

Порівняльний аналіз авторегресійних підходів та рекурентних нейронних мереж для моделювання і прогнозування нелінійних нестаціонарних процесів

Nonlinear nonstationary processes presented in the form of time series can describe the dynamics of processes in both technical and economic systems. Forecasting of such processes has numerous applications in power engineering, network systems, trade, and investment activities. However, there is no single approach to modeling and predicting such processes currently. This paper considers the most commonly used approaches. They are considered to be effective in working with data presented in the form of sequences: autoregressive models and recurrent neural networks. Classical regression approaches predict a target variable by a linear combination of past values of this variable. Therefore, they are quite simply used both from the theoretical and computational point of view due to the simple structure. However, this approach is limited to the complexity of taking into account a large number of external factors due to the problem of multicollinearity, as well as their possible nonlinear influence. Neural networks learn from experience and adapt to a changing environment that is modeled. Neural technologies are used for nonlinear modeling, resistant to information noise and capable of generalization based on historical data. The use of neural networks allows obtaining accurate and adequate models, even with a qualitative analysis of the interconnections factors that influence the result of forecasting. Therefore, recurrent neural networks are used to work with sequences. This allows solving the problem of modeling taking into account the nonlinear or combined effects of external factors. However, the application of this approach is limited to large computational costs. In addition, this approach can’t be applied to very long sequences. This is a problem for solving modern problems using large amount of data. From the analysis, it follows from the necessity of developing a new, effective from a computational point of view approach to modeling large sequences taking into account the nonlinear or combined effects of external factorsНелінійні нестаціонарні процеси, представлені у вигляді часових рядів, можуть собою описувати динаміку процесів як в технічних, так і у економічних системах. Прогнозування таких процесів має численні застосування в енергетиці, мережевих системах, торгівлі, інвестиційній діяльності. Однак, на даний час не існує єдиного підходу для моделювання і прогнозування таких процесів. У роботі розглянуто найбільш уживані підходи. Вони вважаються ефективними для роботи з даними, представленими у вигляді послідовностей: авторегресійні моделі та рекурентні нейронні мережі. Класичні регресійні підходи прогнозують цільову змінну лінійною комбінацією минулих значень цієї змінної. Тому доволі просто використовуються як з теоретичної, так і з обчислювальної точок зору завдяки простій структурі. Проте даний підхід обмежується складністю враховування великої кількості зовнішніх факторів через проблему мультиколінеарності, а також їх можливий нелінійний вплив. Нейронні мережі навчаються на досвіді і адаптуються до змін середовища, яке моделюється. Нейронні технології застосовуються для нелінійного моделювання, стійкі до інформаційних завад і здатні до узагальнення на основі історичних даних. Використання нейронних мереж дозволяє отримувати точні та адекватні моделі, навіть за якісного аналізу взаємозв’язків факторів, що впливає на результат прогнозування. Тому для роботи з послідовностями використовують рекурентні нейронні мережі. Це дозволяє вирішити поставлену задачу моделювання з урахуванням нелінійного або комбінованого впливу зовнішніх факторів. Однак, застосування даного підходу обмежується великими обчислювальними витратами. До того ж цей підхід не може застосовуватися для дуже довгих послідовностей. Це є проблемою для вирішення сучасних задач з використанням великих за обсягом даних. З аналізу випливає необхідність розроблення, нового, ефективного з обчислювальної точки зору підходу до моделювання великих послідовностей з урахуванням нелінійного або комбінованого впливу зовнішніх факторі

Адаптивне прогнозування та оцінювання фінансових ризиків

The study is directed towards development of an adaptive decision support system for modeling and forecasting nonlinear nonstationary processes in economy, finances and other areas of human activities. The structure and parameter adaptation procedures for the regression and probabilistic models are proposed as well as the respective information system architecture and functional layout are developed. The system development is based on the system analysis principles such as adaptive model structure estimation, optimization of model parameter estimation procedures, identification and taking into consideration of possible uncertainties met in the process of data processing and mathematical model development. The uncertainties are inherent to data collecting, model constructing and forecasting procedures and play a role of negative influence factors to the information system computational procedures. Reduction of their influence is favourable for enhancing the quality of intermediate and final results of computations. The illustrative examples of practical application of the system developed proving the system functionality are provided.Исследование направлено на создание адаптивной системы поддержки принятия решений для моделирования и прогнозирования нелинейных нестационарных процессов в экономике, финансах и других отраслях деятельности человека. Предложены процедуры для адаптивного оценивания структуры и параметров регрессионных и вероятностных моделей, а также архитектура и функциональная схема соответствующей информационной системы. Разработка системы основывается на принципах системного анализа, таких как адаптивное оценивание структуры моделей, оптимизация процедур оценивания параметров моделей, идентификация и учет возможных неопределенностей, которые учитываются при сборе данных, построении моделей, в процедурах прогнозирования и играют роль негативных факторов влияния на вычислительные процедуры в информационной системе. Уменьшение их влияния способствует повышению качества промежуточных и окончательных результатов вычислений. Рассмотрены иллюстративные примеры практического использования разработанной системы, которые подтверждают ее функциональность.Дослідження спрямовано на створення адаптивної системи підтримання прийняття рішень для моделювання і прогнозування нелінійних нестаціонарних процесів в економіці, фінансах та інших галузях людської діяльності. Запропоновано процедури для адаптивного оцінювання структури і параметрів регресійних і ймовірнісних моделей, а також архітектуру і функціональну схему відповідної інформаційної системи. Розроблення системи ґрунтується на принципах системного аналізу, таких як адаптивне оцінювання структури моделей, оптимізація процедур оцінювання параметрів моделей, ідентифікація та врахування можливих невизначеностей, які враховуються під час оброблення даних і побудови математичних моделей, а також для збирання даних, побудови моделей, у процедурах прогнозування і відіграють роль факторів негативного впливу на обчислювальні процедури в інформаційній системі. Зменшення їх впливу сприяє підвищенню якості проміжних та остаточних результатів обчислень. Розглянуто ілюстративні приклади практичного застосування розробленої системи, що підтверджують її функціональність